Dense Disparity Estimation in a Multi-view Distributed Video Coding System

Distributed video coding (DVC) is a recent paradigm which aims at transferring part of the coding complexity from the encoder to the decoder. The performance of such a coding scheme strongly depends on the capacity to estimate correlation at the decoder and, consequently, on the side information quality. In this paper we consider a multi-view DVC framework and propose a very efficient dense dis- parity estimation technique for side information construction, based on a variational formulation. The simulation results show that our approach clearly outperforms the existing methods for inter-view side-information generation

Wavelet Constrained Regularization For Disparity Map Estimation

This paper describes a novel method for estimating dense disparity maps, based on wavelet representations

Image Interpolation with Dense Disparity Estimation in Multiview Distributed Video Coding

This paper deals with the side information (SI) generation problem in multiview distributed video coding (MDVC). For inter-view interpolation, we propose a novel dense disparity estimation (DE) approach combined with a popular distributed video coding (DVC) technique. As disparity vectors are computed at the decoder side, and no coding rate is needed to transmit them, dense estimation techniques are made possible, leading to improved results without requiring high coding resources. Experimental results show that the proposed interpolation technique can achieve up to 2.0 dB improvement in SI reconstruction performance, when compared to state-of-the-art DVC techniques

Image interpolation with edge-preserving differential motion refinement

Motion estimation (ME) methods based on differential techniques provide useful information for video analysis, and moreover it is relatively easy to embed into them regularity constraints en- forcing for example, contour preservation. On the other hand, these techniques are rarely employed for video compression since, though accurate, the dense motion vector field (MVF) they produce requires too much coding resource and computational effort. However, this kind of algorithm could be useful in the framework of distributed video coding (DVC), where the motion vector are computed at the decoder side, so that no bit-rate is needed to transmit them. More- over usually the decoder has enough computational power to face with the increased complexity of differential ME. In this paper we introduce a new image interpolation algorithm to be used in the context of DVC. This algorithm combines a popular DVC technique with differential ME. We adapt a pel-recursive differential ME algorithm to the DVC context; moreover we insert a regularity constraint which allows more consistent MVFs. The experimental results are encouraging: the quality of interpolated images is improved of up to 1.1 dB w.r.t. to state-of-the-art techniques. These results prove to be consistent when we use different GOP sizes

Mise en correspondance stéréoscopique par approches variationnelles convexes ; application à la détection d'obstacles routiers

This thesis deals with the problem of stereo matching and its application to obstacle detection. The main goal of stereo matching is to recover the depth information of a scene from a pair of left and right images taken from two different locations. It involves finding corresponding pixels in both images, leading to the so-called disparity map. Firstly, the stereo matching problem is solved by minimizing a convex objective function over the intersection of multiple constraint sets. These constraints arise from the prior knowledge and the observations. In order to obtain a smooth disparity field, while preserving edges, we consider appropriate wavelet and total variation based regularization constraints. The resulting optimization problem is solved with a block iterative method which offers great flexibility in the incorporation of several constraints. Then, to deal with illumination variations often encountered in practice, we develop a spatially varying multiplicative model that accounts for brightness changes between both images in the stereo pair. Finally, we detect obstacles from the computed depth map by performing an object segmentation based on an orientation surface criterion.Cette thèse porte sur la mise en correspondance stéréoscopique ainsi que sur son application à la détection des obstacles routiers à partir d'un système de vision stéréoscopique. La mise en correspondance est une étape cruciale dans la reconstruction de la structure tridimensionnelle de la scène observée. Elle consiste à retrouver les pixels homologues dans deux images prises de deux points de vue différents, et se ramène à un problème d'estimation d'un champ de disparité. La première partie de ma thèse a porté sur l'estimation de la disparité, dans le cadre d'une approche ensembliste, en minimisant une fonction objective convexe sur l'intersection d'ensembles convexes, construits à partir des connaissances a priori et des observations. Dans la plupart des applications de stéréovision, le champ de disparité doit être lisse dans les zones homogènes et les zones faiblement texturées. L'une de nos contributions a consisté à proposer différentes contraintes de régularisation satisfaisant cette propriété. Pour résoudre le problème d'optimisation considéré, nous utilisons un algorithme efficace itératif par bloc. La deuxième partie traite du problème d'estimation de la disparité en présence de changements d'illumination dans la scène observée. Nous considérons pour cela un modèle d'illumination multiplicatif qui permet de compenser les variations spatiales de luminosité de la scène. Enfin, dans la troisième partie, nous appliquons notre méthode d'estimation de la disparité robuste aux variations d'illumination pour la détection des obstacles routiers

Mise en correspondance stéréoscopique par approches variationnelles convexes (application à la détection d'obstacles routiers)

Cette thèse porte sur la mise en correspondance stéréoscopique dense ainsi que sur son application à la détection des obstacles routiers à partir d'un système de vision stéréoscopique embarqué à bord d'un véhicule. La mise en correspondance est une étape cruciale dans la reconstruction de la structure tridimensionnelle de la scène observée. Elle consiste à retrouver les pixels homologues dans deux images de la même scène, prises de deux points de vue différents, et se ramène à un problème d'estimation d'un champ de disparité. Le problème d'estimation de la disparité, formulé comme un problème inverse mal posé, a été appréhendé, dans le cadre d'une approche ensembliste, en minimisant une fonction objectif convexe sur l'intersection d'ensembles convexes. Ces ensembles sont associés à des contraintes convexes modélisant des informations a priori tenant compte des propriétés du champ à estimer et des données observées. Dans ce travail, nous avons mis l'accent sur une estimation d'un champ de disparité lisse et homogène, tout en respectant les discontinuités présentes dans la scène. Pour cela, nous avons considéré différentes contraintes de régularisation satisfaisant cette propriété. Ces contraintes sont définies dans le domaine spatial ou exprimées à partir des coefficients en ondelettes de l'image. Pour résoudre le problème d'optimisation sous contraintes considéré, nous avons mis en place un algorithme efficace itératif par bloc, utilisant des développements récents d'analyse convexe et mettant en oeuvre des projections sous-différentielles sur des ensembles convexes. Cet algorithme offre une grande flexibilité quant à l'incorporation de contraintes multiples et peut être efficacement implanté sur une architecture à processeurs parallèles. La plupart des méthodes de mise en correspondance reposent sur l'hypothèse de conservation de la luminance qui établit que les projections d'un même point de la scène ont la même intensité dans les deux images stéréoscopiques. Cependant, cette hypothèse physique n'est pas toujours vérifiée en pratique, notamment en présence de zones d'ombres ou de surfaces non lambertiennes. Notre approche pour aborder ce problème consiste à modéliser les variations spatiales de luminosité de la scène, en considérant un modèle d'illumination multiplicatif variant spatialement. Elle permet de mesurer les changements d'illumination et obtenir ainsi une estimation de la disparité très robuste vis-à-vis de ces changements. Des résultats sur des images synthétiques et réelles ont permis de valider la méthode proposée.Dans l'objectif d'aider la navigation autonome dans un environnement routier des systèmes de transport intelligents, nous avons proposé une méthode de détection d'obstacles par stéréovision, en exploitant notre approche d'estimation de la disparité et en s'appuyant sur un critère approprié d'orientation de surfacePARIS-EST Marne-la-Vallee-BU (774682101) / SudocSudocFranceF

A Convex Optimization Approach for Depth Estimation Under Illumination Variation

International audienceIllumination changes cause serious problems in many computer vision applications. We present a new method for addressing robust depth estimation from a stereo pair under varying illumination conditions. First, a spatially varying multiplicative model is developed to account for brightness changes induced between left and right views. The depth estimation problem, based on this model, is then formulated as a constrained optimization problem in which an appropriate convex objective function is minimized under various convex constraints modelling prior knowledge and observed information. The resulting multiconstrained optimization problem is finally solved via a parallel block iterative algorithm which offers great flexibility in the incorporation of several constraints. Experimental results on both synthetic and real stereo pairs demonstrate the good performance of our method to efficiently recover depth and illumination variation fields, simultaneously

Dense disparity estimation from stereo images

4 pagesInternational audienc

Joint disparity-motion estimation for coding of multiview video sequences

Dans cet article, nous proposons une technique d'estimation conjointe des champs de déplacements, présents dans une séquence d'images multi-vues, qui permet d'exploiter les différentes relations existantes entre ces champs. La stratégie adoptée permet de réduire le nombre de variables à estimer et augmenter ainsi la fiabilité et la précision des estimations. Le problème d'estimation conjointe est formulé comme un problème de programmation convexe, consistant à minimiser une fonction objectif convexe sur l'intersection d'ensembles convexes construits à partir des connaissances a priori et des observations. Les résultats présentés soulignent l'intérêt de l'estimation conjointe aussi bien en termes de reconstruction qu'en termes de cohérence des champs estimés